从智能语音助手到智慧识屏，vivo 如何将 NEX 的 Jovi 打造成手机上最贴心的「AI 助理」?

除了硬件上的「黑科技」堆叠，在 NEX 上，vivo 的 Jovi AI 还有了全方位的进步。

「秀肌肉」是 vivo 2018 上半年的关键词。

从 1 月份在 CES 发布全球首款屏幕指纹手机 X20 Plus UD，到 2 月份发布集超高屏占比、升降式前置摄像头、半屏屏幕指纹等「黑科技」于一身的概念机 APEX，再到两周前发布惊艳程度不输 APEX 的「量产概念机」NEX 以及刚刚展示的 vivo ToF 3D超感应技术，vivo 用一个个领先行业的技术在过去的几个月持续「刷屏」。

与此同时，在最近热门的手机 AI 领域，vivo 也做出来了不少值得一提的东西。

在今年 3 月底发布的主力产品 X21 上，vivo 推出了叫做 Jovi（Enjoy vivo's AI）的 AI 助理，包含了智慧引擎、智慧场景、智慧识屏、智慧桌面、智慧驾驶在内的 5 大功能。

经过两个多月的努力，到了 NEX 这一代产品上，vivo 对 Jovi 进行了全面的升级，大幅扩充了 Jovi 的「技能包」，更加充分地利用了手机的 AI 能力。

这一切要先从一颗按键说起。

按键是手机交互的第一层级，它高于触摸操作，可以让用户在不接触手机屏幕的情况即可完成特定的操作。

目前智能手机中最常见的设计是电源键、音量加、音量减三大「金刚」，除此之外，一些手机厂商也尝试增加额外的按键让用户更快捷地完成部分操作，比如 iPhone 上的静音按键、一加手机上的三段式模式按键、锤子手机的「闪念胶囊」键、索尼手机上的实体拍照键、三星手机的 Bixby 按键。

在 NEX 的机身左侧，vivo 也增加了一颗实体按键，叫做「Jovi AI 独立按键」。

顾名思义，这颗按键是用来启动 Jovi 的，具体的功能有两个：长按启动 Jovi 智能语音助手，短按启动 Jovi 智慧识屏。

我们先从 Jovi 智能语音助手说起。

大家知道，对于智能手机来说，智能语音助手早就算不上什么新鲜功能了，苹果早在 2010 年发布的 iPhone 4S 上就搭载智能语音助手 Siri。之后，谷歌、亚马逊、微软、三星以及众多国产手机厂商也纷纷推出了自家的语音助手。

作为一位「新人」，Jovi 智能语音助手有两个特别的地方：第一个是唤醒方式，第二个是可实现的功能。

Jovi 智能语音助手有两种唤醒方式，第一种是按住侧面的 Jovi AI 独立按键同时来说话，第二种是用唤醒词进行远场语音唤醒。

Jovi 提供了两个唤醒热词，分别是拟人的「小 V 小 V」和更加国际范儿的「Hi,Jovi」，用户在录入自己的语音后，即可通过自己的语音来唤醒 Jovi。为此，NEX 内置了一颗专属的 S801 AI 语音芯片，日常使用中可以以极低的功耗待机，在听到用户的声音后快速进行响应。

功能方面，除了查天气、设闹钟、设置日程提醒、搜索音乐、听新闻等语音助手的基本功能，Jovi 智能语音助手还可以完成包含了 app 内多个步骤的复杂指令。

以生活中常见的微信发红包功能为例，Jovi 智能语音助手已经可以完成「给德赫亚发 5 元红包并留言恭喜西班牙小组第一晋级」这种操作。

这句话中，包含了打开微信、在联系人中搜索「德赫亚」、点击联系人头像、点击发消息、点击对话框右下角的加号、点击红包、在金额中输入「5」、金额下面的对话框中输入「恭喜西班牙小组第一晋级」、点击「塞钱进红包」等接近 10 个步骤。

为了实现这个复杂的指令，除了需要强大的深度自然语言理解能力，还需要在应用层和主流 app 进行打通，目前 Jovi 已经覆盖了包括导航、社交、音乐、视频、旅行、购物、天气、打车等在内的多个头部 app，包括大家熟悉的百度地图、京东、淘宝、微信、大众点评、QQ 音乐、滴滴出行等常用 app。

除了这些 vivo 官方准备好的「技能包」，用户还可以根据自己的需求来为 Jovi 语音助手定制属于自己的功能。

打开 NEX 预装的 Jovi 语音 app，在右上角可以看到一个「教」的字样，点开后就可以呼出 Jovi 的命令教学功能了。

在这里，用户可以添加专属的语音指令，然后为它定制自己所需要的功能，目前 Jovi 可以支持单个应用内的「点击」以及「文本输入」这两种属性的操作，已经可以覆盖大部分的 app 内功能，vivo 表示之后会让 Jovi 支持更多属性的操作。

如果你懒得「手把手」教 Jovi，还可以直接使用 Jovi 内建的「命令广场」功能，这里汇集了用户分享的自己教 Jovi 学会的语音指令。

目前「命令广场」里已经有了不少颇为实用的指令，比如「我要看世界杯」（打开优酷，点击世界杯专题），「支付宝收能量」（打开支付宝，点击更多、财富管理、蚂蚁森林），「招行信用卡还款」（打开招商银行，点击信用卡还款）。

未来，随着 Jovi 智能语音助手的用户越来越多，「命令广场」的内容会快速得到丰富，vivo 也会选择将受用户欢迎的指令直接集成到 Jovi 的默认功能中，从而让 Jovi 的功能更快速度地进行迭代和进化。

聊完 Jovi 智能语音助手，我们来看一下 NEX 侧面 AI 按键的另外一个功能：短按呼出 Jovi 智慧识屏。

和智能语音助手类似，识别屏幕内容也不是什么新功能，比较早的尝试可以追溯到谷歌在 Android 6.0 时发布的 Now On Tap 功能。到了 AI 时代，通过使用大量的数据对神经网络模型进行训练，手机在图像和文本识别的速度和准确性上有了巨大的提高。

NEX 搭载的是高通最新的旗舰 SoC 骁龙 845，利用配套的 AI Engine 提供的强大的 AI 运算能力，NEX 可以快速完成对屏幕内容的准确识别。不过能识别出内容只是一个前提，Jovi 智慧识屏的不同之处在于它的「智慧」部分。

在按下这颗 AI 按键后，Jovi 智慧识屏能够根据屏幕上的内容，智能地进行识别。

当你在查看一张花的照片的时候，Jovi 智慧识屏会识别花的名称并给出相关的信息。当你在看一张产品照片的时候，Jovi 智慧识屏又会识别出产品的型号并列出淘宝的购买链接。当你在阅读文章的时候，Jovi 智慧识屏会将文字根据语义智能地分开，方便用户精确选择文字。

此外，如果屏幕上包含了多种文字信息，Jovi 智慧识屏还可以智能地对人名地名等专有名词、电话号码、日常安排、快递单号等信息进行提取，将不同类型的信息汇总成一个个简洁清晰的小卡片，方便用户查阅。

Jovi 智慧识屏还可以和更多的信息和功能进行联动，比如当你和朋友在微信上约看电影，Jovi 智慧识屏可以智能地展示出最近的行程，电影的介绍资料、评分，甚至是去电影院的导航信息，所有操作均在一个界面进行展示，大幅提高效率。

有了这些「智慧」的功能加入，Jovi 智慧识屏所能做的已经远不是一个简单的「识屏」，而是更加接近一个无声的个人助理，它可以根据屏幕正在显示的信息给你自动「整理」出你需要的东西。

除了 Jovi 智能语音助手、Jovi 智慧识屏这两个重要新增功能，Jovi 智慧场景、智慧桌面等原有的智能功能也得到了进一步的完善。

Jovi 智慧场景位于通知栏的右上角，可以根据信息智能地生成卡片并在必要时推送，覆盖的信息有天气、交通、日常、电影、酒店、运动、快递、红包、赛事等等，而智慧桌面则位于桌面负一屏，这里包含了多种由 vivo 和第三方提供的聚合了多重信息的卡片，其中也包括了 Jovi 智能场景智能生成的事件。

值得一提的是，在最近的更新中，vivo 特别优化了 Jovi 在世界杯期间的体验。

在 Jovi 智慧场景中，用户可以实时查看赛事比分，也可以点击进去看实时的文字和视频直播（接入的是优酷）。此外，用户还可以选择自己喜爱的球队，Jovi 会根据比赛安排提醒你观看直播，同步赛况。

在 NEX 上，vivo 还进一步提高了 AI 对拍照相关体验的加成。

在拍照时，NEX 可以快速识别场景然后进行针对性的参数调整，在遇到逆光场景时，NEX 可以根据场景只能选择多帧合成张片的数量，进一步提升逆光拍照效果，可以实现高达 11.3eV 的动态范围。

在 NEX 自带的相册中，vivo 也赋予了更多的 AI 元素，比如使用 AI 算法自动将照片根据地点、时间、事件、照片亲密度等维度自动聚合，基于 AI 算法和图像识别技术提出的关键词来通过关键词快速搜索照片。

要实现以上这些和 AI 相关的功能，需要有一个强大的硬件平台作为支撑，而这个支撑就是高通 AI Engine（AIE）。

今年的 2 月 21 号，在 MWC 2018 开幕前，高通正式推出了自家的人工智能引擎 AI Engine（Qualcomm Artificial Intelligence Engine，AI Engine），用于提高设备端（比如采用骁龙 SoC 的手机）上 AI 相关的运算能力。

AI Engine 包含了 3 个硬件和 3 个核心软件，硬件部分为 CPU、GPU、DSP 三个部分，通过配套的骁龙神经处理引擎（NPE）软件框架，可以帮助开发着根据任务的需要，从 DSP、GPU、CPU 中智能选择合适的内核。

在此基础上，高通和多家算法提供商联合推出了多个利用 AI Engine 的应用优化，比如商汤科技和旷视 Face++提供的多种预先训练的用于背景虚化、面部解锁、场景识别的神经网络，虹软提供的单摄和双摄算法，创通联达针对人工智能视觉用例和终端提供完整的解决方案，而腾讯、百度等云服务厂商也在利用 AI Engine 进行应用优化。

目前支持高通 AI Engine 的 SoC 有骁龙 845、835、820、660、710，早在三月份发布的 X21 上，vivo 就使用了骁龙 600 的 AI Engine 引擎，这也是行业最早使用 AI Engine 的智能手机之一。而相比起骁龙 660，NEX 旗舰版上采用的骁龙 845 在 AI 性能上又有了数倍的提升，为 NEX 的 AI 功能提供了更加充裕的硬件基础。

除了高通，在 NEX 的 AI 方案中，还可以看到很多行业头部「玩家」的名字。

在语音方面，vivo NEX 搭载了由「娄氏公司」提供的声音采集、话筒、音响等硬件处理芯片，这让 NEX 成为全球唯一一家配置语音硬件芯片的手机，为 Jovi 智能语音助手的体验打下了更好的硬件基础。此外，vivo 还与国内的讯飞和百度达成合作，来提高 NEX 的自然语言理解能力，让 NEX 可以识别复杂的语音指令。

过去一年里，手机行业有两个趋势最为显著，一个是屏占比的不断提高，一个是全面的 AI 化。

相比起屏占比提高带来的视觉冲击，手机 AI 带来的体验要「隐性」不少，甚至在一些手机厂商前期对 AI 的过度宣传下，一度被不少消费者认为是个「噱头」。不过在高通、海思等上游厂商以及 vivo 等手机厂商的联合推动下，手机 AI 正在快速发展，AI 对用户日常体验的加成正在越来越明显。

在这一波的手机 AI 大潮中，vivo 是行动最早、重视程度最高的厂商之一。在保持技术前瞻性的同时，vivo 在 AI 应用上更加强调解决用户的实际需求。

这次 NEX 上搭载的 Jovi 智能语音助手和 Jovi 智慧识屏就是两个典型的应用，语音助手和识屏都不是开创性的功能，不过通过和 AI 的结合，vivo 把它落地成了更多实用的功能，让用户可以通过方便地按下手机侧面的独立按键，通过语音或识屏的方式更高效地完成很多日常生活中的高频操作。

NEX 的 Jovi 体现了 vivo 这家乐于和用户沟通的手机厂商在产品研发时对用户的「关怀」，而对于现在的手机 AI 来说，这种实用派 AI 可能也是目前最合适的落脚点了。